Workshop Big Data Analytics

Data inlezen

De data komt uit een Kaggle competitie en gaat over het proces van claimafhandeling bij een grote verzekeringsmaatschappij. De opdracht van de competitie was om een model te bouwen dat binnenkomende claims kan categoriseren naar ‘snel afhandelbaar’ en ‘nadere controle nodig’. De oorspronkelijk dataset had een omvang van 110 MB (meer dan 100.000 regels). Voor een snellere laadtijd is de dataset met 60% gereduceerd (met behoud van verhoudingen).

firstDF <- read_csv("https://raw.githubusercontent.com/hanbedrijfskunde/im/master/workshops/bigdata/kaggle.csv")
head(firstDF)

Kwaliteit data set beoordelen

In bovenstaande tabel hebben we al een klein beetje gekeken naar de kwaliteit van de data. We zien dat er 133 kolommen zijn en bij iedere kolom is aangegeven om welk type data het gaat. De kolom met de variabele v1 is bijvoorbeeld van het type double (dbl) en dit geeft aan dat het om een getal met decimalen gaat. Kolom v3 bevat tekst (chr) en target natuurlijke getallen (telgetallen - int).

Voor uitgebreide kwaliteitsinformatie kunnen de functies str() en summary() worden gebruikt. Functies worden altijd aangegeven met haakjes waartussen parameters geplaatst kunnen worden. In dit geval is de parameter de dataset firstDF.

## Structuur
str(firstDF[,1:10])

Classes ‘tbl_df’, ‘tbl’ and 'data.frame':   45728 obs. of  10 variables:
 $ ID    : int  5 6 12 31 37 39 40 43 54 57 ...
 $ target: int  1 1 0 1 1 1 1 1 1 1 ...
 $ v1    : num  0.944 0.797 0.9 2.26 0.944 ...
 $ v2    : num  5.31 8.3 7.31 14.69 5.93 ...
 $ v3    : chr  "C" "C" "C" "C" ...
 $ v4    : num  4.41 4.23 3.49 5.15 4.4 ...
 $ v5    : num  5.33 11.63 9.95 8.55 9.05 ...
 $ v6    : num  3.98 2.1 1.93 1.95 2.55 ...
 $ v7    : num  3.93 1.99 1.77 2.93 2.69 ...
 $ v8    : num  0.0196 0.1719 0.0663 0.0414 0.0857 ...

## Samenvatting
summary(firstDF[, 1:10])

       ID             target             v1               v2              v3                  v4        
 Min.   :     5   Min.   :0.0000   Min.   : 0.000   Min.   : 0.144   Length:45728       Min.   : 0.128  
 1st Qu.: 57348   1st Qu.:1.0000   1st Qu.: 0.923   1st Qu.: 5.309   Class :character   1st Qu.: 3.475  
 Median :113469   Median :1.0000   Median : 1.476   Median : 7.031   Mode  :character   Median : 4.205  
 Mean   :113929   Mean   :0.7612   Mean   : 1.642   Mean   : 7.480                      Mean   : 4.141  
 3rd Qu.:170713   3rd Qu.:1.0000   3rd Qu.: 2.143   3rd Qu.: 9.479                      3rd Qu.: 4.841  
 Max.   :228712   Max.   :1.0000   Max.   :13.214   Max.   :20.000                      Max.   :11.832  
                                   NA's   :19847    NA's   :19834                       NA's   :19834   
       v5               v6               v7              v8        
 Min.   : 0.182   Min.   : 0.000   Min.   :0.000   Min.   : 0.000  
 1st Qu.: 7.613   1st Qu.: 2.061   1st Qu.:2.102   1st Qu.: 0.086  
 Median : 8.674   Median : 2.410   Median :2.453   Median : 0.389  
 Mean   : 8.741   Mean   : 2.432   Mean   :2.486   Mean   : 1.498  
 3rd Qu.: 9.769   3rd Qu.: 2.772   3rd Qu.:2.838   3rd Qu.: 1.633  
 Max.   :20.000   Max.   :20.000   Max.   :8.889   Max.   :20.000  
 NA's   :19374    NA's   :19847    NA's   :19847   NA's   :19373   

---

Vraag 1: Wat doen de functies head(), str() en summary()?

Vraag 2: Hoeveel lege waarden bevat de kolom met de variabele v2?

Vraag 3: Pas de functie dim() toe op de dataset. Hoeveel dataregels bevat de dataset? En hoeveel kolommen?

---

De volgende data komt uit een Driven Data competitie. Deelnemers worden uitgedaagd door Taarifa en het Tanzaniaanse Ministerie voor Water om een model te genereren waarmee voorspeld kan worden welke waterpompen in het land een defect gaan vertonen, zodat ze kunnen worden onderhouden voordat ze daadwerkelijk uitvallen (predictive maintenance).

secDF <- read_csv("https://raw.githubusercontent.com/hanbedrijfskunde/im/master/workshops/bigdata/drivendata.csv")
head(secDF)

---

Vraag 1: Beoordeel de kwaliteit van de data.

---

We kunnen de kwaliteit van de data verder verkennen door deze te visualiseren. R biedt verschillende mogelijkheden:

• eenvoudige grafieken

colors <- c("skyblue", "orange", "tomato")
p <- ggplot(secDF) +
  geom_bar(aes(x = region, fill = status_group)) +
  scale_fill_manual(values = colors) +
  coord_flip()
p

---

• grafieken met interactie:

ggplotly(p, width = 900)

---

• geographische weergave met interactie (klik op een cirkel voor meer informatie per waterpunt)

selDF <- secDF[1:100,]
pal <- colorFactor(colors, domain = c("functional", "functional needs repair", "non functional"))
leaflet(selDF) %>%
  addTiles() %>%
  setView(lng = mean(selDF$longitude), lat = mean(selDF$latitude), zoom = 6) %>%
  addCircleMarkers(~longitude, ~ latitude, popup = ~wpt_name, color = ~pal(status_group))

---

• en nog veel meer.